安全字段中的数据标签通常是嘈杂,有限或偏向于人口子集的。结果,诸如准确性,精度和召回指标之类的普遍评估方法,或从标记数据集中计算的性能曲线的分析对机器学习(ML)模型的现实性能没有足够的信心。这减慢了该领域的机器学习的采用。在当今的行业中,我们依靠域专业知识和冗长的手动评估来建立此信心,然后再运送新的安全应用程序模型。在本文中,我们介绍了Firenze,这是一种使用域专业知识对ML模型的性能进行比较评估的新型框架,并编码为称为标记的可扩展功能。我们表明,在称为感兴趣的区域的样本中计算和组合的标记可以提供对其现实世界表演的强大估计。至关重要的是,我们使用统计假设检验来确保观察到的差异,因此从我们的框架中得出的结论 - 比仅噪声可观察到的更为突出。使用模拟和两个现实世界数据集用于恶意软件和域名声誉检测,我们说明了方法的有效性,局限性和见解。综上所述,我们建议Firenze作为研究人员,领域专家和企业主混合团队的快速,可解释和协作模型开发和评估的资源。
translated by 谷歌翻译